Сделал небольшую утилитку (C#, примерно 500 строк) для конвертации моего treebank в формат universaldependencies/morpheval2017. Вроде бы без особых потерь и лакун:

( Read more... )

(Продолжение - см. часть 1 syntax_chars)

На уровне цепочки слов есть множество вариантов построения сеточной модели, которая будет выдавать матрицу связности слов. Кратко опишу результаты для двух экспериментальных моделей - syntax_w2v_rnn и syntax_ff.
( Read more... )

Посмотрим, как с помощью нейросетевых моделей можно строить синтаксическое дерево зависимостей для предложения.
( Читать далее (LSTM, Keras, char-based parsing)... )

1. С помощью утилиты Txt2VecConsole (см. https://github.com/zhongkaifu/Txt2Vec) получаю векторные представления слов. В целом эта утилита является портом на C# утилиты word2vec, каких-то особых отличий в результатах я не видел. Хотя результаты в мелочах все-таки отличаются на одинаковом корпусе при одинаковых параметрах. Корпус - примерно 6 Гб ( Read more... )

[Продолжение]
Объем использованного tree bank: 317,780,920 слов
Собирались ребра с глаголом (инфинитив, глагол, деепричастие) и наречием.
Отдельно учитывались наречия справа и слева от глагола, так как для русского языка есть определенные нормы в этом плане.
Результаты отсортированы по mutual information.

ТОП для adv+v:
( Статистика по сочетаемости v+adv )

Подоспела статистика по указанным предикатам, собранная по 317,780,920-словному tree bank'у. Общий обзор статистики сделаю позже, а пока просто отмечу забавный факт, который просто бросился в глаза при визуальной оценке. Вот частоты 4-грамм с подлежащим ПРЕСС-СЛУЖБА и сказуемым СООБЩИТЬ ( Read more... )

Продолжение темы http://kelijah.livejournal.com/166962.html.
Из части tree bank собраны предложные паттерны ПРЕДЛОГ+(ПРИЛ+СУЩ).
TOP 200 с сортировкой по mutual information:

( Коллокации... )